Armstrong thường tuyên bố rằng ông sinh ngày 4 tháng 7 năm 1900.[6] Mặc dù ông qua đời năm 1971, nhưng mãi đến giữa những năm 1980, ngày sinh thực sự của ông, ngày 4 tháng 8 năm 1901, được Tad Jones phát hiện bằng cách nghiên cứu các giấy tờ rửa tội.[7] Ít nhất ba tiểu sử khác coi ngày sinh 4 tháng 7 là một huyền thoại.[8][9][10]

Armstrong được sinh ra ở New Orleans với mẹ là Mary Albert và cha là William Armstrong. Albert đến từ Boutte, Louisiana và sinh con tại nhà khi cô khoảng mười sáu tuổi. William Armstrong đã bỏ rơi hai mẹ con một thời gian ngắn sau đó.[11] Khoảng hai năm sau, William có một cô con gái, Beatrice "Mama Lucy" Armstrong, người được Albert nuôi dưỡng.[12]

Louis Armstrong được bà ngoại nuôi dưỡng cho đến năm tuổi khi ông được trở về với mẹ.[11] Ông đã dành cả tuổi thanh xuân trong một khu phố bạo lực, được gọi là Chiến trường.[13] Năm sáu tuổi, ông theo học trường Fisk School for Boys,[14] một ngôi trường chấp nhận trẻ em da đen trong hệ thống phân biệt chủng tộc của New Orleans. Ông đã làm những công việc phụ cho Karnoffskys, một gia đình người Do Thái ở Litva. Khi đang bán than ở Storyville, anh nghe thấy các ban nhạc spasm, các nhóm chơi nhạc từ các đồ vật trong gia đình. Anh nghe thấy những âm thanh ban đầu của nhạc jazz từ các ban nhạc chơi trong nhà thổ và vũ trường như Pete Lala, nơi King Oliver biểu diễn.[15]

Karnoffskys [16] nhận Armstrong và đối xử với ông như gia đình. Biết ông sống không có cha, họ cho anh ăn và nuôi dưỡng anh.[17][18] Trong hồi ký Louis Armstrong + Gia đình Do Thái ở New Orleans, La., Năm 1907, ông đã mô tả khám phá của mình rằng gia đình này cũng bị phân biệt đối xử bởi "những người da trắng khác", những người cảm thấy rằng họ tốt hơn người Do Thái: "Tôi chỉ mới bảy tuổi nhưng tôi có thể dễ dàng nhận thấy sự đối xử vô duyên mà những người da trắng đang đối xử với gia đình Do Thái nghèo mà tôi đang làm việc. " [19] Ông đeo mặt dây chuyền Ngôi sao David trong suốt quãng đời còn lại và viết về những gì ông học được từ họ: "làm thế nào để sống cuộc sống thực sự và quyết tâm".[17] Buổi biểu diễn âm nhạc đầu tiên của Armstrong có thể đã ở bên cạnh đoàn xe rác của Karnoffsky. Để phân biệt với những người bán hàng rong khác, ông đã thử chơi một chiếc còi thiếc để thu hút khách hàng. Morris Karnoffsky đã cho Armstrong một khoản tạm ứng để mua một cây kèn cornet từ một cửa hàng cầm đồ.[20]

Armstrong lớn lên từ giai cấp xã hội hèn mạt nhất, trong một thị trấn bị kỳ thị, nhưng lại có nền âm nhạc sâu đậm, nóng bỏng - lúc bấy giờ gọi là nhạc "ragtime" (thời đói rách) chứ chưa gọi là nhạc jazz. Tuy thời thơ ấu ông sống trong cảnh đói nghèo, Louis Armstrong không cho rằng đó là điều đáng buồn mà là nguồn cảm hứng vô biên, ông từng nói: "Mỗi khi tôi nhắm mắt thổi cái kèn của tôi - tôi nhìn thẳng vào trái tim của thành phố New Orleans xa xưa... Nó đem lại cho tôi một cái gì đó để tôi bám vào mà sống."[21]